Managing Procedural Memory in LLM Agents: Control, Adaptation, and Evaluation
管理LLM Agent中的程序性记忆：控制、适应与评估
🧭 程序性记忆迁移与演化基准 ★ 深度解读
提出AFTER基准，揭示程序性技能从多样化多模型轨迹中演化可实现73.1%跨模型测试准确率
📌 工作参考价值（4 点）
- 多样化经验提升泛化性：用多个不同模型的执行轨迹去演进技能，比单模型轨迹能显著提高跨模型泛化能力（+13.7%）。在电商搜索/推荐中，如果使用多个异构模型（如不同Transformer模型或不同策略）的日志来优化统一技能（如query改写、意图识别），可能提升技能在新模型上的适应性。
- 角色特定技能退化：跨角色迁移时，同一技能（如pdf处理）可能因角色差异（如PM的摘要 vs DS的数据提取）导致性能下降。在推荐系统中，为不同业务线（如搜索推荐 vs 广告推荐）定制的策略或prompt应区分训练，避免强制共享导致的特化退化。
- token效率：通过前置程序性知识到prompt中，可大幅降低推理token消耗（最高-62%）。在LLM驱动的推荐agent中，将常用处理逻辑固化为技能指令，能减少运行时重复推理，降低成本和延迟。
- 技能更新机制：单轮refinement就能提升3.7-6.7个百分点，采用COLLECT–DIAGNOSE–REVISE–PROMOTE循环，可快速迭代优化agent行为。可用于电商搜索的query生成或商品描述生成pipeline的快速迭代。